Завершив професійну ігрову кар'єру у «Страсбурі», у складі якого вже виступав раніше. Прийшов до команди 1976 року, захищав її кольори до припинення виступів на професійному рівні у 1977 році.
У 1964 році дебютував в офіційних матчах у складі національної збірної Югославії. Протягом кар'єри у національній команді, яка тривала 6 років, провів у формі головної команди країни 16 матчів, забивши 8 голів.
Розпочав тренерську кар'єру невдовзі по завершенні кар'єри гравця, 1978 року, очоливши тренерський штаб рідного клубу «Желєзнічар».
Пропрацювавши у сараєвському клубі протягом восьми сезонів, 1986 року прийняв пропозицію очолити національну збірну СФРЮ. Працював з командою до 1992 року, в якому збірна припинила існування внаслідок розпаду СФРЮ на декілька незалежних держав. За цей час вивів юголсавську команду до фінальної частини одного великого турніру — чемпіонату світу 1990 року, на якому балканці дійшли до чвертьфіналу, де лише за післяматчевими пенальті поступилися майбутнім віце-чемпіонам світу аргентинцям. Протягом останніх років роботи зі збірною (1991–1992) поєднував її з роботою у тренерському штабі белградського «Партизана».
1992 року переїхав до Греції, де протягом двох сезонів був головним тренером команди «Панатінаїкоса», яку двічі поспіль приводив до перемоги у Кубку Греції.
Наступним етапом тренерської кар'єри Осима стала робота з австрійською командою «Штурм» (Грац), що тривала з 1994 по 2002 рік. Працюючи в Австрії тренер поповнив перелік своїх досягнень двома титулами чемпіона Австрії та трьома Кубками країни.
2003 року фахівець прийняв керівництво тренерським штабом японського клубу «ДЖЕФ Юнайтед», зробивши його за три роки роботи одним з лідерів японського клубного футболу.
Успіхи Осима у клубній роботі не лишилися непоміченими і 2006 року йому запропонували стати наступником бразильця Зіку на посаді очільника тренерського штабу національної збірної Японії. Він готував збірну команду до фінальної частини Кубку Азії 2007 року, змагання, яке японці вигравали у двох попередніх розіграшах поспіль. Під керівництвом Осима, утім, їм цей тріумф повторити не вдалося — у півфіналі вони поступилися збірній Саудівської Аравії, а згодом не змогли здолати збірну Південної Кореї у грі за третє місце. Попри цей невдалий виступ Осим залишився працювати з японською збірною і залишив її лише за півроку, у грудні 2007 після проблем із серцем, які змусили його взагалі завершити тренерську діяльність.